| Г / у р 


М ии миллионов товаров с 
‚||| сотен ие тмагазинов’наРНР 


| и | Красников 'Иван, СТО а ЬЫСь 


Задача 


Внешний контур Внутренний контур 


д. и ое | 
р... 


Задача 
Внутренний контур 


т ее | 


Внецний КОНТУР 


ие: /<\е1.сч 


Н_ Че жии| 
иббе://еБ.сы 


у 
Ивье ла Ме зо] 


[ежы| 
ие <Жес.г/Ре.жы| 
|) Ав /ЗЬМе,со/ Целки 
= 
ие: /жфе.со/ Ре. жи| 


Общий вид 


Внешний контур Внутренний контур 


Схема работы 


Внешний контур Внутренний контур 


т | 
——>| Очереде зодеч 


— Бак ие 


Е<<Ясзеогси 


Вставко 


Хотелка 


ЗУРРОКТ: 

Клиенты часто спрашивают, 
почему их фид не 
индексировался, а там то фид 
невалидный, то их сервер лежал. 
Время тратим на выяснение 


А может быть, будем 
показывать клиентам куски логов с 
причинами неудачных загрузок? 


ОЕ\: 


Логи и алерты: публичные 


Показываем пользователю лог неудачных загрузок 


История загрузок фида 


Всего: 15 

Название Параметры Дата 
зоигсе_по{_гезомед { "у": "ВИр//09 .пепадо по", "еггог": "Сош@ по{ гезом№е По${: 15.10.2022 
() Б09.пепадо. то", "ПИр_соде": 0 } 11:17:37 
зоигсе_по{_гезомед { "ип": "Б&р//5 09 .пепадо.1п®о", "егтгог”: "СошШ@ по{ гезом№е по5{: 15.10.2022 
(0 БЫ 09.пепадо. то", "ПИр_соде": 0 } 11:06:36 
зоигсе_по{_гезомед { “уп”: "Пр//Ь09 .пепадо.итфо", "еггог": "СоША по{ гезоме Во${: 15.10.2022 


() Б0о9.пепадо. то", "ПИр_соде": 0 } 10:55:36 


Проблема с загрузкой фида 


ЗУРРОКТ: 

Спасибо за логи! 

Тут Клиент спрашивает: “А что за 
странная ошибка в логе?” 


ОЕ\: 


Логи и алерты: публичные 


История загрузок фида 


Всего: 15 


Название 


зоигсе_1юад_етгог 


Параметры Дата 

СОВЕ егтог 7: Райед {о соппес{ {о гс1а-***.пп@.уапдехсюид.пе{ роц 8123: 

СоппесНоп гегизед (5ее ПИрз://сий.Вахх.зе/Юсий/с/Исип-еггогз Вл!) Гог 15.10.2022 
ПИ р://гсТа-***.таБ.уапдехс!оид.пе{: 8123? 10:26:36 


\май_епд_о{_диегу=1 &даабазе=зеагспбоо${ет&изег=изег&раз\могд=раззм/ога 
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Вывод 1 


Показывать пользователю ошибки — хорошая фича, но 
только заранее предусмотренные ошибки. 
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Проблема с загрузкой фида 


РМ: 


Не грузится фид! Ошибка: 
не удается скачать файл. 


ОЕ\: 


А этот фид открывается 
в браузере? 


РМ: Да 
ОЕ\: 


Дебажим! 


<?рйИр 
ЗУ = “Вр: / 7... Хх”; 


ЭСЙ = СИГ 1); 
сиг1_зеторе (5сп, СУВЕОРТ_УВЬ, $иг1); 


$Рр = Фореп( "111е.хт1", "м"); 
сиг] _зефор($сн, СУВЕОРТ_ЕТЕЕ, $Ёр); 


ТЕ (суг1_ехес($св) === Фа1зе) { 
есбпо "Ошибка сиг1: " . сиг1_еггог($сп); 
} е1зе { 


еспо "Операция завершена без каких-либо ошибок"; 


} 
сиг1_с1о$е($сп); 
Рс1озе($+р); 
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Проблема с загрузкой ПЁр$-фида 


рИр % рИр тез{.рИр 
Ошибка сиг1: 554 сегЕ1Ттсате ргоб1ет: ипаб1е фо дет 1оса1 
1°зцег сег{1Р1сате 


Загрузка: проблема 5$ 


№ $10" у.пе/Ше.хт| 


< Безопасность х 
Зо! Г 


@ Безопасное подключение 
Информация, которую вы сообщаете этому сайту 
(например, пароли и номера банковских карт), 
защищена. Подробнее 


6) Действительный сертификат [2 
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<?рйИр 
$иг1 = "В р$://....хм1"; 


ЗОН, = СИР ЗА 

сиг1_зефор*($сй, СУВЕОРТ_ИВЕ, $игТ); 

З$Ер = Тореп("111е.хт1", "м"); 
сиг1_зефор*($сй, СУВЕОРТ_ЕТЕЕ, $+р); 
сиг] _зефор*($сп, СУВЕОРТ_УЕВВОЗЕ, гие): 


ЧЕ (сиг1_ехес($сп) === Та1зе) { 
есро 'Ошибка сиг1: '. сиг1_еггог($сй); 
} е1зе { 
еспо 'Операция завершена без каких-либо ошибок’; 


сиг1_с1озе($сй); 
Рс1озе($р); 


Загрузка: проблема 5$ 


* СоппестеЧ фо апофВег.$зПор (1.1.1.1) роге 443 (#9) 

* АЁРМ: отТегз$ 12 

* АЁРМ: отТегз Пфр/1Т.1 

* САТ1Те: /чзг/1оса1/ефс/ореп$$1@1.1/сегф.рет 

* САрафП: попе 

* 552 сегЕ1Т1сафте ргоб1ет: ипаб1е Фо деф 1оса1 Т$зиег 
сег{1Т1сате 

* С10$1пд соппесттоп 


Загрузка: проблема 5$: файл сей.рет 


610Ба1$19п Вооф СА 
—=--- ВЕСТМ СЕВТТЕТСАТЕ----- 

МТТОЧТССА1 29А\ТВАЗТЕВААААААВЕЦ ам5мО@У Ко2ТВУсМАДЕРВОАм\/ 2Е1МАКСАЛОЕВИМСОКИХ 
СТАХВУМУВАОТЕЕЯЧ$ 629 66Е№р22496пУ+с2ЕхЕОАОВОМУВА$ТВ13\63099090Ехб?А7ВУМУВАМТЕКАЯ$ 
Ь296Е№р7249/т9уасводТАеРм@5ОРА5МОЕХМ- АиМОВаЕм@уОБАхМ) 9хМ) АиМОВаМЕсхС2АЗВАМУ 
ВАУТАКЭЕМВКМЕмУОУООКЕХВНЬС9 1 У\хТамаи1т6521ХМАМВАМОЗУОУООЕЕмч$ 6290 ТЕМВМВ $м60УО 
\Уд9рЕХЭНЬб91УмхТа\мачТЕ 3639990 Емч9Е1МАОСС$аС$ТЬЗООЕВАОЦАА4 ТВОмАмадЕКАОТВАОРа 
Вча73с6]49+КР\уух14М1а+рТН/Едт\/ЕО$98СРВ4таттх292х+1К+6№1УбагутА7аурху@ $ у6$с 
ТНАНОоТ@КММе\ Ц /439$МУВУс710ихС73/0158рЕ946ЗУМТСОХКМ28КНр1\т] зок6\3 К46м\у81616 
ККЗЕр1546ТпМт/ К8уиХ91 И$Р3 34146 с966 ТАСНВ] с96зпи0ОВи971УЕЬМУ4Ерм16с9КООууВМР 
с15ТЕ41667мемЕМЕВУу594их2х89Ка$312697п$ За 1мВ5ЕТОМММеа6ххКЕтСМа7К9УЕбакМ7Стх 
92Т/ЕСтВЬВ10$9еЕ59№891Е07+гуЦр9 / КБОРАЗМВААС] 9} ВАМА4САТИЧОМЕВ /мОЕАМТВВ- АРВАМУ 
НЕМВАТ8ЕВТАОАОН/МВОбА1 Ча СМВВВае2Уа892Хуо10ЕЗ0Е2Т$о/ /2952АМВОКаНК169м0ВАСИЕ 
ААОСАСЕА1пРптЕ9 2012 /7141\3 ТЕКОК1РРхзпСмгудте!79тХаов$161СКО2у) 1пТ9м6СЬМ+м603 
У19Ь8тгугТпН07К40+У\11У776В9\упбС\у042с091сЕ6И159ЕЗ8№11МИУу в ВВпМВаамоуот9Умоус 
3/8№7уу5\У@62ау2Рубп91 13173.91 ЕСт7утРАБЕУ{ Омар 5рЕбККеВ6;рххх\Уи7Ку3ЗезЕ12КиувН 
Ат4ахРУх19Вп1У0т+МутХЦа90КаС53183ХС321У9Уева4\2М9у493КНМВ65] Ут9ТИ/От6сР9+уеС 
Х4Х$9ВЭБУБМЕНМУртВуЕ$0939утСН3М71Х1/Е] 3К$7р4А== 


-—ВЕСТМ СЕВТТЕТСАТЕ 
МТТЕК)ССАхКаА\МТВАСТЕОСРе+рАМВОКаНК1С9м@ВАЧИРАРСВЕОЕОМВТСАЛОЕСВМЕВМ5 9 сп\/29С5и 
7Х9хОА+ВЯУМУВА$ИМЗ93ау516пВу9хМ@-т519С9ВУЕМЕМЗ А@ОСВрьтМуспАит6351Н317149Кбхр 
Ь\10суВза\МЕ1Е1КхэТАЭВАМУВАЗТНСВ]КЗАХОТК5ТЕУцаН1с3Здибт\у@ТЕхрЬ\1 079 хМ?АхВаМ\У 
ВАМТККУцанН1сЗдибт\етТЕМ1спВр7т1)УХВрЬ2490ХУ@аб9уаХхВ5ТС9ум004КТАеЕм050ТЕУМ @х 
№ИмМТЕа-\м@уОТАЗМ 9хМОЕ1МТ ЭамтСОМВОмЕЗУОУООКЕмЕЕЬпКу9ХМ@1т51907АМО4САЛИЕСх03З 
ЧЗазЕтУиан1с3зди6т\у0Е9м9у18ум004161иУ29усСс4дУпкастУтЕ1Ао6б1{аХВ2ТбхрУМТиКТЕ1 
МСМСАЛИЕСхМсКОМрТОЕБОТКАВ\ 59 сп\/29С5и7Х091Т61+ахХВ170ЕМОЕСАЛОЕАХМА 59 сп\/=9С5и 
7Хх0992\у961тамМНа61 у61ВВЯХВо6ЗЭранкаКоТ\МО<рмттвт) АМВаканк169м9ВАДЕРААОСАС ВА 
МТТВСОКСАОЕА 11 аВКбзиа) ТАс/ЕтОаК@уВумЕКТУ7+9На177940МВ2О9 $ ПомМЕТК91еиНаУМ701. 
бр18Е2о0Н1и3Н$/13В9е$Убр]Х242СЕ1А/ЕСОМугрУАКАНЯ 0 1КСЯССт21Ау1ПЗеа\Ус3Км37Хат$х 
В8в$561\Уихм1В\уРс167923 /124$сЕ210К7 /сСо\\т3 7у/бп7ххбмС4текзу78В27пи44941т\/ТХТ2М 
пЕЕРКОР5Е6ВО${ВТ290у\Ут9 зп ВМВи5 УВЗХЬ{9+5СЕУдПТАр+Х+Трбтб420/Но7депо\уе Ани 
\УВсАКСаТ\уА5 3а36/+ЕТТп72\/См95№328т28МУ1\т030\1сАН4ОТРАСАВО0ТмОРАОВАУМУНО8ВАТ8Е 
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СЕКИЕСАТЕ 
АЦТНОКИУ 


ю СоппесНоп $есиге 


(Е тамме` “ Зутащес 


СОМООО —КВар9$$1 
7) СедТги$ Е 


© 


ЗЕСР- 16 МЕС 
СЕКТИНСАТЕ 


ТЫ 5Не’5 зеси!Ку се саме 
5 по гизцед. 


СА се Ясае$ ежтгацеа Гот МохШа Етеох 


ЮЕрэ://сий.зе/Аос$/саежгас. Ат! 


Юр://сий.Вахх.зе/са/сасей.рет 


Оа{е 
2022-10-11 ($па256) 
2022-07-19 ($па256) 
2022-04-26 ($Ва256) 
2022-03-29 ($Ва256) 
2022-03-18 ($па256) 
2022-02-01 ($Ва256) 
2021-10-26 ($па256) 
2021-09-30 ($Ва256) 
2021-07-05 ($Ва256) 
2021-05-25 ($па256) 


СегЯсае$ 
142 
140 
135 
132 
132 
133 
130 
127 
128 
127 
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<?рйр 
Зиг = "В р$://....хм1"; 


ЗЕ = ШЕЕ 

сиг1_зефор (5сп, СОВЕОРТ_УВЕ, $иг1); 
$Ер = Рореп("111е.хт1", "м"); 

сиг] _зетор* ($сп, СУВЕОРТ_ ЕТЬЕ, $Рр); 
сиг1_зефор*($сп, СУВГОРТ_ УЕВВОЗЕ, гие); 


сиг1_зефорт ($св, _СУВЕОРТ_САТМЕО, _‘'сасегт.рет 


ТЕ (сиг1_ехес($сп) === №а1$е) { 
есбпо 'Ошибка сиг1: ' . сиг1_еггог($сВ); 
} е]1<е { 


еспо 'Операция завершена без каких-либо ошибок’; 


} 
сиг1_с1о0$е($сй); 
Рс1озе($Рр); я 


Загрузка: проблема ПЕрз 


Тгутпд 1.1.1.1:443... 

ТСР_МОБЕГАУ зеф 

Соппесте то уе{ф.апо%Нег.$Пор (1.1.1.1) рог® 443 (#9) 
АЕРМ, оТТег1пд 12 

АЁРМ, ОоТТег1пд ПЖЕр/Т.1 

зиссез$Ти11у зеф сег\1Т1сафе уег1Ту 1осаф1опз: 


САТ11е: сасег*.рет 
САратН: /ефс/$$1/сегт$ 


*х 55. сегЕ1Р1сате ргоб1ет: ипаб1е Фо деф 1оса1 15$зчег 
сегЕ1Р1сате 
* С10$1пд соппесттоп 


ххх хххх 


Ир 


©. \/агпто: Роепна! $есищу В15К Апеаа 


Агетох аецед а ро{еп#а! зесигИЙу 1Игеа{ апа 44 по{ соппие 10 ипгиеа-гоо{.Ба4$$!.сот. Н уси м5И 1115 $Не, 
аКаскег$ соша \ту 10 Зеа! итогтайоп ИКе уоцг раз5\мога$5, етай$, ог сгейЙ сага аетай$. 


М/Ва+ сап уси 4о аБои{ И? 
Тре 155ие 15 ппо${ ИКе!у мий {Пе ммебзКе, апа {Пеге {5 пота уоц сап до То гезо№е И. 


Н уоц аге оп а согрогайе пеймогк ог изтд апН-мтиз зоЙ\маге, уоц сап геасп оц! то {пе зиррой 1еатв Гог а51${апсе. 
Уои сап а!5о по{Йу {Пе ммеб5Це'5 аапитгатог абоц {пе ргоШет. 


[еагт тоге... 


бо Васк (Кесопптепде4) Адуапсеч... 


5отеопе соша ое 1гутд То итрегсопае {Пе 5Це апа уоц зпош А по{ сопйпие. 
\МебзИез ргоуе пей епт Йу ма се сатез. РгеТох дое$ по{ 1ги5{ имги${ед-гоо{.Ба4$51.сот Бесаизе 


И$ се саце 15иег [5 ипкпо\ул, {Пе сегийса“е 15 зе{-51дпеа, ог {Пе 5егуег [5 по{ сеп@та {пе соггес! 
имегтефае сегса{ез. 


Етог соае: $ЕС_ЕВКОВ_УМКМО\МИМ_15$ЦЕК 


\Мем/ Се йсае 


бо Васк (Кесоплтепдед) Ассере пе КК апа Сопипие 
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Г] Кером егтог$ ИКе 1115 10 пер Мо7Ша Чет у апа Боск тайстоц$ $Йез 


Корневые сертификаты 


Мо7Ша 
БЕ рз://МмК.тохШа.ога/САЛптпсиаеа_ Сеййсаез 


Спготе Коо{ Зюге($ооп) 


ЮВЕрэ://сАгоптит.аооезочигсе.сот/спгогтигт/згс/+/тат/пе/да{а/$Исйго 
те гооЁ зюоге/гоо{ эюге.та 
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Инструмент просмотра сертификатов: ме эт ее 
Общие Подробнее 


Иерархия сертификатов 


У Соба!$1юп Коо{ СА 
У АрПа$$1 СА - $НА256 - 62 
у т 
Поля сертификата 


у Арва$$Е СА - $НА256 - 62 
У Сертификат 
Версия 
Серийный номер 


Алгоритм подписи сертификатов 


Издатель 
У Срок действия 
Не ранее 
Значение поля 


04:00:00:00:00:01:44:4Е:Р 0:36:31 
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Загрузка: ПЁЫр$ — Арпаз Е 
04:00:00:00:00:01:44:4Е:Р 0:36:31 х ЕЕ $ (®) Ц 


С Все © Карты >] Видео Картинки (= Новости ;‚ Ещё Инструменты 


Результатов: примерно 3 390 (0,68 сек.) 


1 рз://зиррой.а1оБа!1ап.сот ›... у Перевести эту страницу 


Арпаз3$Е щегте4Чае Сеййсае$ - СоБа!$1дпт Зиррой 
Майа ип: 20 Ребгиагу 2024. Зепа! #: 04 00 00 00 00 01 44 4е #0 36 31. ТнитЬрипЕ 4с 27 43 
17 17 56 5а За 07 {3 еб 40 03 2с 42 58 94 9с №9 ес. 


26 


Загрузка: ПЁЫр$ — Арпаз Е 


$НА-256 Огаег$ (Бегаи) 


АрПа$5$1 $НА-256 В1 птегте!ате СегИЙсате 


А!рпа551 СА - $НА256 - 62 
$НАР56 + В$А * 2048 


\Майа ипей: 20 ЕеБгиагу 2024 
бета! #: 04 00 00 00 00 01 44 4е ®0 36 31 
ТритЬрипе: 4с 27 43 17 17 56 5а За 07 {3 еб 40 03 2с 42 58 94 9с {9 ес 


Оомитоад СегиЯсате (Втагу/ОЕВ Епсодеч) 
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Загрузка: ПЁрз: успех 


Соппесфе фо апо{Вег.$зПор (1.1.1.1) роге 443 (#9) 
*АЕРМ: оТТегз 12 
*АЕРМ: оТТегз ПЕЕр/1Т.1 
*САТ11е: сасег*.рет 
*САратИ: попе 
*5$[- соппес&1оп и$1пд 11$\%1.3 / Т1$_АЕ$_256_ССМ_$НАЗ84 
*АЕРМ: зегуег ассертеа [2 
*Зегуег сег{1Т1сате: 
*5иб]есф: СМ=апо\Пег. $Пор 
*этагф Чате: Маг 5 14:44:11 2022 СМТ 
*ехр1ге Чате: Арг 14:44:10 2023 СМТ 
*5и6]естА1{Мате: Позф "“апо\Пег.$Пор"” мтафспеЯ сегт'$ "апо\Вег. зПор" 
*15$зиег: С=ВЕ; О=б]1оБа1$1д9п пу-за; СМ№=А1рПа3з$Е СА - $НА256 - 62 
*55 сегЕ1Р1сафе уег1Ру ок. 
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Вывод 2 


ЗЕ — сложная штука. 
В разных браузерах работает по-разному. 
Нужно устранять неопределенность путем 


фиксирования и обновления списка корневых 
сертификатов. 
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Проблема с большим ХМЁ 


ЗОРРОКТ: Не грузится один из фидов! 
В хроме вроде открывается, но страничка 
виснет 


ОЕ\: А большой фид? 
ЗОРРОКТ: - 510 МВ 


РЕ\: © Е „) 


о а 
Фо 


3% 


Смотрим в логи 


Оч{ от Метогу: К11]Теа ргосе$$ 
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Проблема с большим ХМЁ- тетогу де изаде 


<?рйр 


$Зсоптепт= 111е_дет_соптепт$('510М_Тее4а.хт1'); 
$хт1 = $1тр1ехт1_1оа4_$%г1пд (З$сопфеп*); 


еспо "Метогу изаде:" .гоипа (тетогу_де{_изаде() /19024/1024, 2)."МВ"; 


// Метогу чзаде: 487.14 МВ 
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Проблема с большим ХМЁ - тетогу де изаде(гие) 


<?рйр 


$Зсоптепт= 111е_дет_соптепт$(' 510М_Тее4а.хт1'); 
$хт1 = $1тр1ехт1_1оа4_$%г1пд (З$сопфеп*); 


еспо "Метогу изаде:" . гоипа (тетогу_де*_изаде(+гие) /1024/1024,2). 
"МВ"; 


// Метогу чзаде: 488.77 МВ 
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Проблема с большим ХМЁ 


<?рйИр 


$хт1 = $1тр1ехт1_1оа9_111е('510М_Тееа.хт1'); 


еспо “Метогу изаде: | 
гоипа (тетогу_дет_изаде (1гие) /1024/1024, 2) 


// Метогу чзаде: 2 МВ 


| МВ" ь 
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Проблема с большим ХМЁ 


<?рйИр 
101_$зе*(‘`тетогу_ 1111’, '1024м’); 
$хт1 = $1тр1ехт1_1оа49_111е('510МВ_Рее .хт1'); 


еспо “Метогу изаде: | 
гоипа (тетогу_дет_изаде (1гие) /1024/1024, 2) 


// Метогу чзаде: 2 МВ 


| МВ" ь 
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Проблема с большим ХМЁ 


<?рйИр 
101_$зе*(‘тетогу_11т1, '1М’); 
$хт1 = $1тр1ехт1_1оа9_111е('510МВ_Реед .хт1'); 


еспо “Метогу изаде: | 
гоипа (тетогу_дет_изаде (1гие) /1024/1024, 2) 


// Метогу чзаде: 2 МВ 


| МВ" ь 
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Проблема с большим ХМЁ 


<?рйИр 

111_зе1('тетогу_11т1%', '1М'); 

соптепт= 111е_дее_сопфепт$ (*510М_ТееЯ .хт1'); 
$хт1 = $1тр1ехт1_1оа4_$%г1пд (З$сопфеп*); 


еспо "Метогу изаде:" .гоип4 (тетогу_де*_изаде (1гие) /1024/1024, 
2)."МВ"; 


// РНР Рафа] еггог: А11омеЧ тетогу $17е от 2097152 Бутез 
ехпаизтеЧ (1г1еЧ фо а11осаже 510419376 Бутез)... 


ет 


Проблема с большим ХМЁ 
<?рИр 
$хт1 = $1тр1ехт1_1оа49_11е('510МВ_Теед .хт1'); 
ип1 тк ( '510МВ_Теед.хт1'); 


огеасН($хт1 аз $е1=>$\); 


еспо "Метогу изаде:" .гоип4 (тетогу_де*_изаде (1гие) /1024/1024, 
2)."МВ"; 


// Метогу чзаде: 2 МВ 
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Проблема с большим ХМЕ -— документация РНР 


В р$://млмм.рпр.пе/тапиа/епЛипсйоп.тетогу-де-изаде.рйр 


тетогу де! изаде 


м1 ух ад-гофаогсот 18 уеаг$ аво 


Тйе тетпо запдеерс а{ф тугеа16ох 90+ сот розфе4 у1е145 Тагеег тетогу изазе, ту вие$5$ 15 1Па{ф 14 1тс\идез а\1 {Пе РНР 
1птегргетег/1птегпа\1 сое ап поф )и${ {Пе зсг1ре Бе1п# гип. 


1) У5е р5 соттапа 

МЕМОВУ У5АСЕ (% КВ РТО ): 0.8 12588 25087 -> абои{ 12мВ 
2) У5е тетогу_ве{_изазе() 

111(6041952) -> абоиф 6МВ 
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Проблема с большим ХМЁ -— расход памяти 


рз$ ачх --зог%=-%тет 
ОЗЕК РТО %СРУ %МЕМ \$7 —№$$ ТТУ ЗТАТ ЗТАВТ — ТТМЕ СОММАМО 
изег 283 8.5 29.3 4861164 4809100 рт\$/2 5+ 11:10 09:04 рПр Тоаа.рПр 


\$2 — уциа! тетогу зе о {Пе ргосез$ п КВ (1024-Б\е 
ипК$). 


К$$ — гезаег{ $6 хе, {Пе поп-5м/арреа рпузса! тетогу Па 
а {азк паз изед (т КНобу\ез) 
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РНР уже не торт! 


К$$= 
К$$=4.8 СВ 1! 


тетогу де изаде=2 МВ 
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Измеряем память — Р$- мау 


<?рйр 
Типсф1оп де{задеР$() 
{ 
$рз_ои{ри{=ехес("рз --р14 ".дефтур1а()."--по-Беа4дегз -о г$$"); 
гефигп (1п{)$рз_оцфриф * 1024; 
} 
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Проблема с большим ХМЁ - измеряем с РУ 


<?рйр 


$1тр1ехт1_]оа9_111е('510тЬ_ТееЧ .хт1'); 


еспо гоипа(тетогу_де{_изаде (+гие) /1024/1024, 2). " МВ"; 


есНо "\пР$ тетогу: ".гоипа (де%УзадеРз() /1924/1024, 2) 


// 2 МВ 
// Р$ тетогу: 4209.34 МВ 


7 


1 МВ" 
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Проблема с большим ХМЁ - измеряем с РУ 


еспо гоипа(тетогу_де{_изаде (+гие) /1024/1024, 2) . " МВ"; 


есво "\пР$ тетогу: ".гоипа (де%УзадеРз() /1924/1024, 2) 


// 2 МВ 
// Р$ тетогу: 24.98 МВ 


$1тр1ехт1_]оа9_111е('510тЬ_ТееЧ .хт1'); 


еспо гоипа(тетогу_де{_изаде (+гие) /1024/1024, 2) . " МВ"; 


есНо "\пР$ тетогу: ".гоипа (де УзадеРз() /1924/1024, 2) 


// 2 МВ 
// Р$ метогу: 4209.34 МВ 


7 


7 


1 МВ" 


1 МВ" 


Проблема с большим ХМЁЕ — ХтКеачдег 


$геа4ег = пем Хт1Веадег(); 
Згеааег->ореп( ' 510916 _Теед .хт1'); 


\И11е (З$геадег->геаа()) { 


} 


еспо гоипа(тетогу_де*_изаде(+гие) /1924/1024, 2) . " МВ"; 


еспо "\пР$ тетогу: ".гоипа (де*УзадеРз() /1924/1024, 2) 
МВ"; 


// 2 МВ 
// РЗ метогу: 25.39 МВ 


7 
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Згеа4ег = пем Хт1Веааег(); 
Згеаадег->ореп(' 5109 т6_Реед .хт1'); 
$1=0; 


мИ11е (З$геадег->геаа()) { 
ЧЕ (++$1%5000000==0) { 
еспо "\п".51; 
еспо "\п".гоипа (тетогу_де{_изаде (+гие) /1024/1024, 2)." МВ". 
есНо "\пР$ тетогу: ".гоипа (де%УзадеР$() /1024/1024, 2)."МВ". 


} 
} 
еспо гоипа(тетогу_дет{_изаде (+гие) /1024/1024, 2). " МВ"; 
есНо "\пР$ тетогу: ".гоипа (де%УзадеРз() /1924/1024, 2). " МВ"; 
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Проблема с большим ХМЁ — проверяем ХМЁЕКеадег 


5000000 2 МВ; Р5$ тетогу: 25.45 МВ 


10000000 2 МВ; Р$ тетогу: 
15000000 2 МВ; Р$ тетогу: 
20000000 2 МВ; Р$ мтетогу: 
25000000 2 МВ; Р$ тетогу: 


25.47 МВ 
25.49 МВ 
25.5 МВ 
2+ МБ 
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Как избежать утечек? 


Ооскегк8$ |т!$? 


Тесты? 


Добавляем контроль над расходом в тесты 


${11$->аззег{1еззТНап(1000900, тетогу_дет_реаК_изаде (+гие), 


‘Метогу ичзаде Тоо 19, роз$161е тетогу ТеакК’); 
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с]1аз$ Метогу 


{ 


рг1\уафе $зтаф1с 1п{ ЗтахМемтогу = 98; 


рчб11с Типс&1оп дефзаде (ЗирдафеМмахМетогу = 1гие): 1п* 


{ 
Зтетогу = $%Р1$->де%ИзадеР$(); 
1+ (ЗирдафеМмахМетогу) { 
зе1{: :ЗтахМетогу = мах (зе1+: :$тахМетогу, $тетогу); 
} 


гетигп Зтетогу; 


} 


руб11с Типс&1оп дефРеаКУзаде()... 
руб 11с ТипсЕ1оп гезет()... 
рчб11с Типс&1оп де%УзадеРз$().. 
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Контролируем память в тестах 


$1оа4ег = пем Зоигсе[оадег ( $ВЕЕр); 
Метогу : : гезет(); 


$Лоадег->1оа4 ($Тее4); 
${[1$->аззег1ез$ТНап (123 , Метогу : : дефРеаКУзаде (), 


'Рофтеп{1а1 тетогу Т1еак!') 
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Вывод 3 


РНР не “видит” всю память, которую 
использует и тетогу _де{ изаде, 
тетогу де реаК_изаде, 

тетогу _Ит® доверять нельзя. 
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Проблема — медленная вставка в Е!азйсЗеагсй 


СХО: Данные в поиске старые! 
ОЕ\: А в фидах новые? 
СХО: В фидах новые, ав 


поиске старые! 


“Секрет” 1 — Батчинг 


Встовит® Товоф 1 
Встовите ТоВое 2. 
ВстовиТе Товоф % 


МОКРККЕК 


Ес <Я сзеогси 
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“Секрет” 1 — Батчинг 


Встовите ТоворыХ1,2.>) 
МОРКЕК = 


Ео<АЯсзеогси 


Яизи 


Тисе 
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“Секрет” 1 — Батчинг 


Время загрузки тестового фида на 100 000 товаров 


Зависимость времени загрузки(с) от размера пачки 


125 
100 
75 
50 
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“Секрет” 2 — гетезй_итщегуа! 


Е <Ясзеогси 


Нези 


Тиех 


Роситеиф$ 
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“Секрет” 2 — гепезй_итегма! 


Индексируем только после полной вставки фида в Е!азйсзеагсп 


1. Создаем новый 


индекс с Ускорение 
гетезй _ищегуа|=-1 

2. Вставляем ВСЕ 41 сек => 22 сек 
документы 


3. РГогсе тегае 


1.36Х! 
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Маппинг типов данных: динамический 


шаех Вайа Маррта 


РОТ му-1п4ех 
{ 


ЕхрИси 


РОТ /му-1п4ех-000001 
{ 


"тарр1п9з": { "парр1п95";: { 
"аупам1с": "гапе1те", "ргореге1ез": { 
"ргорегЕ1ез": { "аде": { "Буре": "1п%едег" }, 
"@е1мезфапр": { 


"Еуре": "дазе" 


гие 


{а[5е 


гипите 


ЭС 
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Маппинг типа полей: явный 


шаех Вайа Маррта 


РОТ му-1п4ех 
{ 
"тарр1п9з": { 
"аупам1с": "гапе1те", 
"ргорегЕ1ез": { 
"@е1мезфапр": { 
"суре": "ааее" 


ЕхрИси 


РОТ /му-1п4ех-000001 
{ 
"парр1п95";: { 
"ргореге1ез": { 
"аде": { "вуре" : 


"1о$едег" }, 


гие 


{а[5е 


пипите 


ЭТС 
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Секрет 3 — Фиксированный маппинг типа полей 


1) Пробегаемся по 
всему фиду, 
определяем типы Уско рение 


полей (число, строка) 

2) Создаем индекс с 150 сек => 22 сек 6.81Х! 
необходимыми 
полями 

3) Индексируем фид 
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Определение типов полей данных 


Вес 


1000 


Тип поля 
Вес 


ЧИСЛО 


Диагональ 


22 


Тип поля 
Диагональ 


ЧИСЛО 
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Определение типов полей данных 


Товар Вес Тип поля Диагональ Тип поля 
Вес Диагональ 
1 1000 число 22 число 


2 332 число 25 дюймов (строка 


Определение типов полей данных 


Товар 


Вес 


1000 
332 
533 


Тип поля 
Вес 


ЧИСЛО 
ЧИСЛО 


число 


Диагональ 


22 
25’ 
33 


Тип поля 
Диагональ 


число 
строка 


строка 


65 


Вывод 4 


Для ускорения вставки данных в БД следует 
использовать как универсальные подходы (батчинг), так 
и тонкую настройку специализированных параметров, 
которые могут все ускорить в разы. 
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Вопросы? 


Красников Иван 
зеагспбоо${ег.!о 


{е!едгат: Кп95551 


ОЦЕНИТЬ ДОКЛАД 


